文章背景与核心概要
现代对话与检索增强生成（RAG）系统常常面临高延迟的困扰，这会显著降低用户的体验质量（QoE）。为了解决这一问题，作者推出了 PACE 这一专为检索增强对话服务设计的新颖框架。PACE 将感知首响时间（PTFR）确立为核心的 QoE 优化目标，在严格满足质量和成本约束的同时将其降至最低。
与仅依赖级联路由、语义缓存或自适应检索的传统方法不同，PACE 引入了一种整体性方法，能够联合控制响应由哪个答案源组成以及等待窗口中填充什么内容。
PACE：面向 QoE 高效的检索增强对话服务的感知延迟自适应级联服务路由与填充词控制
arXiv： 2609.10372 [cs.CV]
DOI： 10.48550/arXiv.2609.10372
作者： Lin Huang, Yujuan Tan, Weisheng Li, Lixiang Zeng, Kun Yang, Yongzong Wang, Suihan Xiao
提交时间： 2026年9月9日；最后修订：2026年9月10日
📌 执行摘要
Modern conversational and retrieval-augmented generation (RAG) systems often struggle with high latency, which degrades user Quality of Experience (QoE). To address this, the authors introduce PACE, a novel framework designed for retrieval-augmented dialogue serving. PACE formalizes Perceived Time-to-First-Response (PTFR) as a primary QoE objective and minimizes it while strictly adhering to quality and cost constraints.
现代对话与检索增强生成（RAG）系统常常面临高延迟的困扰，这会显著降低用户的体验质量（QoE）。为了解决这一问题，作者推出了 PACE 这一专为检索增强对话服务设计的新颖框架。PACE 将感知首响时间（PTFR）确立为核心的 QoE 优化目标，在严格满足质量和成本约束的同时将其降至最低。
Unlike traditional methods that rely solely on cascaded routing, semantic caching, or adaptive retrieval, PACE introduces a holistic approach that jointly controls which answer source composes the response and what fills the waiting window.
与仅依赖级联路由、语义缓存或自适应检索的传统方法不同，PACE 引入了一种整体性方法，能够联合控制响应由哪个答案源组成以及等待窗口中填充什么内容。
🚀 核心机制与创新
Deployed on a humanoid-robot sales service, PACE integrates three core mechanisms: 1. Load-Adaptive Cascading Router: Intelligently routes queries to balance computational cost and response speed. 2. Joint Path-Filler Controller: Manages the generation pipeline alongside waiting-window fillers to optimize the user's perception of latency. 3. Volatility-Aware Cache Admission: Filters out stale or volatile information before caching responses.
PACE 部署于人形机器人销售服务中，整合了三大核心机制： 1. 负载自适应级联路由器： 智能路由查询请求，以平衡计算成本和响应速度。 2. 联合路径-填充控制器： 协同管理生成流水线与等待窗口的填充内容，优化用户对延迟的感知。 3. 波动感知缓存准入机制： 在缓存响应之前过滤掉陈旧或易变的信息。
📊 性能与结果
Evaluated on 75,000 requests from the CarQA dataset, PACE demonstrated significant performance improvements: * Latency Reduction: The cascade architecture successfully halved pure-LLM PTFR at the 95th percentile (\(P_{95}\)) from \(0.53\text{s}\) down to \(0.29\text{s}\) (at \(c16\)). * High Load Scaling: The adaptive controller achieved a \(P_{95}\) of \(0.41\text{s}\), outperforming standard RAG systems by 2.4 times under high load while maintaining equal quality. * API Call Efficiency: The filler controller reduced redundant calls by 94% with zero content conflicts. * Data Freshness: Volatility-aware cache admission drastically reduced stale answers from 86% to 0%. * Guaranteed Safety: A built-in gating rule ensures the controller never underperforms compared to the baseline, bounding exposure to a single hold period. To the best of the authors' knowledge, this represents the first formal quantification of filler-answer conflict risk in deployed conversational services.
在来自 CarQA 数据集的 75,000 个请求上进行的评估表明，PACE 带来了显著的性能提升： * 延迟降低： 级联架构成功将纯大模型 PTFR 在 95 分位数（\(P_{95}\)）上的延迟从 \(0.53\text{s}\) 减半至 \(0.29\text{s}\)（在 \(c16\) 条件下）。 * 高负载扩展： 自适应控制器实现了 \(0.41\text{s}\) 的 \(P_{95}\) 延迟，在高负载下性能超越标准 RAG 系统 2.4 倍，同时保持了同等质量。 * API 调用效率： 填充控制器将冗余调用减少了 94%，并且零内容冲突。 * 数据新鲜度： 波动感知缓存准入机制将陈旧答案的比例从 86% 大幅降低至 0%。 * 安全性保障： 内置的门控规则确保控制器表现绝不逊色于基线，将暴露风险限制在单个保持期内。据作者所知，这是已部署对话服务中首次对填充答案冲突风险进行形式化量化。
🗂 附加信息
- Primary Subject: Computer Vision and Pattern Recognition (
cs.CV)- Secondary Subjects: Artificial Intelligence (
cs.AI), Robotics (cs.RO)- Full-Text Links: View PDF | Experimental HTML | TeX Source